[케이스 스터디] 항공기 정비에 인공지능과 확장현실을 융합하다
항공 정비 교육용 XR 콘텐츠, AK GO
증강지능은 유니티로 만든 산업용 솔루션인 AK GO의 제작사로, 항공기 정비 과정을 몰입도 높은 환경에서 효율적인 교육을 가능하게 했다. AK GO는 인공지능(AI)을 활용하여 텍스트 기반의 아날로그 매뉴얼을 스마트 글래스와 증강현실(AR)로 대체했다. ■ 자료 제공 : 유니티 코리아
AK GO의 개발은 2008년에 시작되었다. 증강지능의 CEO이자 설립자인 조근식 대표는 오래 전부터 가상현실 및 인공지능이 항공 정비 현장에 적용될 때의 이점을 연구하고, 논문을 발표하며 해당 분야의 가능성에 도전해 왔다.
프로젝트 시작 배경
증강지능의 조근식 대표는 2008년 대학교수로서 에어버스(Airbus)로부터 연구비 지원을 받아 미국의 USC, 대한항공과 함께 증강현실과 인공지능 기술을 항공 정비 현장에서 활용하는 선행 실증 연구를 수행했다.
이 연구를 통해 AR과 인공지능 기술을 활용한 정비가 기존의 종이 매뉴얼 기반의 정비보다 30% 이상 작업 효율을 향상시킬 수 있다는 점을 확인했고, 질적인 면에서는 작업 경험이 풍부하지 않은 작업자도 무오류에 가까운 작업을 수행할 수 있다는 이점을 발견했다. 이러한 결과를 바탕으로 미국 인공지능학술대회(AAAI)에 관련 기반 기술과 응용 영역에 논문을 발표했다.
당시에는 AR과 MR(혼합현실) 글래스도 구하기 어려운 시절이었지만, 지금은 기술의 발달로 홀로렌즈2(HoloLens 2)와 매직리프(Magic Leap) 등 다양한 스마트 글래스가 시장에 출시되어 실용화가 가능한 환경적 기반이 갖추어졌다. 조근식 대표는 앞서 수행한 연구 결과에 대한 관련 핵심 기술 특허를 미국, 중국, 국내 등에 등록하였고, 이를 실제 산업에서 상용화하고자 창업을 하였다.
AK GO : 항공 정비 교육용 XR 콘텐츠
항공기 정비는 정비가 불량할 경우 인명 사고로 이어질 수 있는 매우 중요한 과정이다. 국제민간항공기구(International Civil Aviation Organization, ICAO)의 2016년 조사에 따르면, 항공기 사고 원인 중 약 14%가 정비 불량으로 인해 발생한다고 한다. 항공기나 복잡한 기계의 정비는 매뉴얼의 절차에 따라 정비하도록 엄격하게 통제되고 있지만, 유지보수 작업 전 방대한 내용을 PDF나 종이 매뉴얼을 찾아서 이해하고 2D 도면이 실제 항공기와 어떻게 일치하는지 확인하는 절차는 매우 복잡하고 시간이 많이 걸리는 작업이다.
AK GO는 항공기 정비 매뉴얼을 탑재한 인공지능이 스마트 글래스를 착용한 작업자의 시야에 실시간 3D로 실제 항공기 부품의 모습과 매뉴얼을 함께 보여 준다. 작업자는 XR 콘텐츠 및 AI와 음성 상호작용을 통해 정비 과정을 효율적으로 시뮬레이션할 수 있다.
AK GO를 활용하면 작업자들은 실물 항공기를 활용하는 것처럼 현실감 넘치는 정비 과정을 반복하여 학습할 수 있고, 교육 기관은 값비싼 장비 확보의 부담 없이 고품질 교육을 제공할 수 있다.
현장 실무 작업 과정과 동일한 실감형 콘텐츠
항공기의 가격은 대당 최소 1000억 원이 넘는 고가여서, 일반 항공 정비 교육 현장에서는 이를 확보하기가 현실적으로 어렵다. 이에 항공 정비 교육 기관들은 퇴역한 구형 항공기나 현장에서 사용하지 않는 경비행기로 실습 장비를 대체하고 있지만, 이마저도 장비의 마모와 파손 우려로 전시용으로 전락하고 있는 상황이다.
조근식 대표는 이를 극복하기 위한 대안으로 현장 실무 과정과 동일한 실감형 정비 콘텐츠를 개발하고자 했으며, XR(확장현실) 기술이 항공 정비 분야에 적용할 수 있는 좋은 사례가 될 수 있다고 생각했다.
항공 정비 교육 콘텐츠의 경우 다른 모든 산업 현장의 작업들과 같이 정비 교육이나 작업을 할 때에 양손을 자유롭게 이용할 수 있어야 하며, 또한 정보에 쉽게 접근할 수 있어야 한다. 최근에 상용화되어 출시되고 있는 홀로렌즈2와 같은 웨어러블 스마트 글래스는 이 점을 현실화할 수 있는 디바이스였기에 증강지능은 홀로렌즈2에서 동작하는 항공 정비 콘텐츠를 개발하는 것에 중점을 두었고, 작업자가 쉽게 정보에 접근할 수 있도록 음성 인식 기술을 함께 적용하였다.
▲ 항공기 메인 랜딩 기어 정비 매뉴얼에 따라 정비 절차 가이드(이미지 출처 : Augmented Knowledge의 ‘항공기 정비(메인랜딩기어) AK GO’ 영상)
“우리 개발팀이 처음 개발을 착수했을 때에는 엔진 사용 경험이 없어 엔진 선택에 어려움을 겪었다. 유니티 엔진은 다른 엔진에 비해 초보 사용자가 접근하기 편하다는 장점이 있었고, 고수준의 개발까지 지원함으로써 장기적인 개발 과정에 있어서도 엔진 변경 등의 부담이 없다고 판단했다. 또한, 유니티는 홀로렌즈 2용 MR 콘텐츠 개발을 용이하게 할 수 있는 옵션을 포함하고 있으며, 개발에 필요한 플러그인이나 애셋 등을 쉽게 구하거나 구매할 수 있는 환경을 제공한다는 점도 긍정적인 부분이었다. 이런 이유로 유니티 엔진을 선택하게 되었다.”
- 증강지능 조근식 대표
스마트 글래스로 노출되는 영상을 태블릿을 통해 공유
스마트 글래스용 콘텐츠를 개발하다 보니, 일반적인 VR(가상현실) 콘텐츠와 마찬가지로, 실제 장비를 착용한 사람을 제외하고는 어떤 콘텐츠가 보여지고 있는지 알 수 없다는 문제가 있었다. 이 문제를 해결하기 위해 AK GO 팀은 값비싼 스마트 글래스나 PC가 달려 있는 VR 장비를 모든 교육 대상자가 사용하는 대신, 특정 사용자가 보고 있는 장면을 실시간으로 태블릿 등의 화면으로 공유할 수 있도록 하여 사용자 편의성을 높였다.
AK GO를 사용하면 스마트 글래스를 통해 사용자의 시야 내에 출력되는 항공기를 보면서 매뉴얼의 가이드에 따라 출력되는 작업 절차를 안내 받을 수 있으며, 딥러닝 음성 인식 기술을 활용해 각 작업 단계에서 메뉴와 콘텐츠에 쉽게 접근할 수 있다. 또한 태블릿 기기를 통해 홀로렌즈 2에서 출력되는 영상을 다른 사용자와 공유할 수 있어, 스마트 글래스를 착용한 사용자가 어떤 콘텐츠를 체험하고 있는지 실시간으로 확인할 수 있다.
항공기 랜딩 기어의 분해 조립 과정 영상을 살펴보면, AI가 사람과의 대화를 통해 매뉴얼상의 작업 단계를 작업자의 시야 내에 제시하는 장면이 나온다. AI와 XR을 융합하여 컴퓨터가 정비 지식을 가지고 사람과 대화하면서 확장현실 공간상에 3차원 모델과 함께 정비에 필요한 정보를 보여주며, 인간과 대화를 하고 있는 것을 볼 수 있다.
유용하게 활용한 유니티의 기능
증강지능의 안치돈 수석 연구원은 “유니티의 에디터 스크립트 기능을 이 프로젝트에서 가장 유용하게 활용했다”고 말했다. 하나의 프로젝트뿐만 아니라 여러 개의 유사한 프로젝트를 진행하는 경우, 에디터 스크립트로 반복되는 작업을 정의해 놓으면 다양한 파트에 대한 동일한 작업들을 손쉽게 해결할 수 있었다고 한다.
방대한 데이터를 반복적으로 다루지만 매번 반복할 때마다 데이터가 달라지는 콘텐츠를 개발하는 경우, 개발자가 직접 하나하나 진행해야 하는 번거로운 수작업을 유니티에서는 적절하게 제작된 메타 파일과 미리 정의된 프리팹을 활용하면 간편하게 자동화가 가능하다.
▲ AI와 XR을 융합한 항공기 랜딩 기어의 분해 조립 과정 시뮬레이션(이미지 출처 : Augmented Knowledge의 ‘AKGO/Main Landing Gear Removal 영상)
“유니티에는 우리처럼 소규모 개발팀도 효과적으로 사용할 수 있는 애셋이 다양하게 있고, 클라우드를 활용한 공동 개발 등에 최적화되어 있어 현재 프로젝트 시작부터 유니티를 사용했다.”
- 증강지능 안치돈 수석 연구원, Chief Architect & Developer
향후 계획
AK GO는 항공기 정비 분야에 초점을 두고 AI와 XR 콘텐츠를 융합하여 설계, 실험 및 구현을 해왔다. 향후에는 실시간 유지보수가 요구되는 전기 자동차, 가전제품 및 공장 등의 디지털 트윈에서도 AK GO의 활용을 확대해 나갈 예정이다.
앞으로 증강지능은 클라우드 기반으로 다양한 항공기 기종의 콘텐츠를 SaaS(서비스형 소프트웨어) 모델로 전세계에 공급할 예정이며, 다양한 콘텐츠의 자원을 융합해서 활용하는 것에 유니티를 적극 활용할 예정이다.
■ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2023-08-02